Beliau dilahirkan pada 30 September 1954 Beliau kehilangan bapanya ketika ibunya mengandungkannya. Beliau kemudianya diambil sebagai anak angkat oleh abang sepupunya, Encik Awang Bakar, seorang guru besar di Sekolah Rendah Jubilee dan Sekolah Rendah. Bapa angkatnya menggunakan nama 'Mohalim' (sempena nama bapa mentuanya) dalam urusan guaman mengambil Rosli sebagai anak angkatnya.  Minat beliau terhadap musik bermula sejak kecil yang mana bapa angkatnya juga merupakan pengurus kugiran terkenal di Singapura iaitu The Honey Beats, sebuah kugiran dalam era 1960-an. Kencenderungan asal beliau pada mulanya lebih kepada Drum yang mana beliau akan bermain deram dan simbal ketika ahli kugiran berehat. Apabila Rosli lulus peperiksaan di Sekolah Rendah Clementi pada 1967, bapa angkatnya menghadiahkannya sebuah gitar akustik jenama Rossini. Mula menyertai Kumpulan Sweet Charity pada tahun 1977. Beliau adalah lulusan dari kolej Nanyang Academy, Singapura dalam jurusan Seni Halus pada tahun 1975.